Code2LoRA: Hypernetwork-Generated Adapters for Code Language Models under Software Evolution
Code2LoRA:面向软件演化的超网络生成代码适配器
🧭 参数高效微调 · 超网络生成 LoRA
University of Waterloo
用超网络为代码仓库动态生成 LoRA 适配器,零推理 token 开销注入库级知识,支持静态与演化场景。
📌 工作参考价值(4 点)
- 为不同场景动态生成 LoRA:超网络可推广到电商推荐中,为不同用户群、商家或商品类目生成专属 LoRA,避免为每个实体独立微调,节省存储与训练成本。
- 零推理 token 开销注入知识:生成的适配器直接融合到基座模型,推理时无额外上下文拼接,适合延迟敏感的推荐重排或 Agent 调用。
- 进化机制应对分布漂移:GRU 隐藏状态按 commit 更新适配器,类似可用于在线学习场景,持续跟踪用户兴趣变化或商品趋势,低成本保持模型新鲜度。
- 基准与评估框架:RepoPeftBench 的构建思路可借鉴到电商领域,构建包含不同商家、不同时期的 PEFT 评估基准,量化个性化与迁移能力。